拡散モデル データ生成技術の数理

https://m.media-amazon.com/images/I/31tm3fJRAXL._SX349_BO1,204,203,200_.jpg#.png https://www.amazon.co.jp/dp/400006343X

table:bibliography

件名標目

ISBN-13 9784000063432

NDC10

NDL search

テキストに対応する画像を生成する――従来は困難であった高次元のデータを創り出す生成モデルの技術が注目されている。現在、最高の性能を発揮し、画像・動画・音声・化合物の生成など、多様な応用が期待されているのが拡散モデルである。その数理の心から課題までを世界に先駆けて解説し、理論のさらなる発展を追究する。

目次

はじめに：爆発的に応用が広がる拡散モデル

記号一覧

1 生成モデル

1. 1 生成モデルとは何か

1. 2 エネルギーベースモデル・分配関数

1. 3 学習手法

1. 4 高次元で多峰性のあるデータ生成の難しさ

1. 5 スコア：対数尤度の入力についての勾配

1. 5. 1 ランジュバン・モンテカルロ法

1. 5. 2 スコアマッチング

1. 5. 3 暗黙的スコアマッチング

1. 5. 4 暗黙的スコアマッチングがスコアを推定できることの証明

1. 5. 5 デノイジングスコアマッチング

1. 5. 6 デノイジングスコアマッチングがスコアを推定できることの証明

1. 5. 7 ノイズが正規分布に従う場合の証明

1. 5. 8 スコアマッチング手法のまとめ

第1章のまとめ

2 拡散モデル

2. 1 スコアベースモデルとデノイジング拡散確率モデル

2. 2 スコアベースモデル

2. 2. 1 推定したスコアを使ったランジュバン・モンテカルロ法の問題点

2. 2. 2 スコアベースモデルは複数の攪乱後分布のスコアを組み合わせる

2. 3 デノイジング拡散確率モデル

2. 3. 1 拡散過程と逆拡散過程からなる潜在変数モデル

任意時刻の拡散条件付確率の証明

DDPMは生成過程の一部分を抜き出して学習できる

2. 3. 2 DDPMの学習

式（2. 4）q(x_t−1|x_t, x_0)の証明

2. 3. 3 DDPMからデノイジングスコアマッチングへ

2. 3. 4 DDPMを使ったデータ生成

2. 4 SBMとDDPMのシグナルノイズ比を使った統一的な枠組み

2. 4. 1 SBMとDDPMの関係

式（2. 9）q(x_t|x_s)の平均と分散の証明

目的関数はシグナルノイズ比によって表される

2. 4. 2 連続時間モデル

2. 4. 3 ノイズスケジュールによらず同じ解が得られる

2. 4. 4 学習可能なノイズスケジュール

第2章のまとめ

3 連続時間化拡散モデル

3. 1 確率微分方程式

3. 2 SBMとDDPMのSDE表現

3. 3 SDE表現の逆拡散過程

3. 4 SDE表現の拡散モデルの学習

3. 5 SDE表現の拡散モデルのサンプリング

3. 6 確率フローODE

3. 6. 1 確率フローODEとSDEの周辺尤度が一致する証明

3. 6. 2 確率フローODE の尤度計算

3. 6. 3 シグナルとノイズで表される確率フローODE

3. 7 拡散モデルの特徴

3. 7. 1 従来の潜在変数モデルとの関係

3. 7. 2 拡散モデルは学習が安定している

3. 7. 3 複雑な生成問題を簡単な部分生成問題に分解する

3. 7. 4 様々な条件付けを組み合わせることができる

3. 7. 5 生成における対称性を自然に組み込むことができる

3. 7. 6 サンプリング時のステップ数が多く生成が遅い

3. 7. 7 拡散モデルでなぜ汎化できるかの仕組みの理解が未解決

第3章のまとめ

4 拡散モデルの発展

4. 1 条件付き生成におけるスコア

4. 2 分類器ガイダンス

4. 3 分類器無しガイダンス

4. 4 部分空間拡散モデル

4. 4. 1 部分空間拡散モデルの学習

4. 4. 2 部分空間拡散モデルのサンプリング

4. 5 対称性を考慮した拡散モデル

4. 5. 1 幾何と対称性

4. 5. 2 化合物配座

拡散モデルを使った対称性を備えた生成

確率密度がSE(3)不変となることの証明

SE(3)同変を達成するネットワーク

第4章のまとめ

5 アプリケーション

5. 1 画像生成・超解像・補完・画像変換

5. 2 動画・パノラマ生成

5. 3 意味の抽出と変換

5. 4 音声の合成と強調

5. 5 化合物の生成と配座

5. 6 敵対的摂動に対する頑健性向上

5. 7 データ圧縮

第5章のまとめ

付録

A. 1 事前分布が正規分布、尤度が線形の正規分布の場合の事後確率分布

A. 2 ELBO

A. 3 シグナルとノイズを使った確率フローODEの導出

A. 4 条件付き生成問題

A. 5 デノイジング暗黙的拡散モデル

A. 6 逆拡散過程の確率微分方程式の証明

A. 7 非ガウシアンノイズによる拡散モデル

A. 8 Analog Bits：離散変数の拡散モデル

文献

索引